В начале марта этого года мы писали о большом релизе VMware PowerCLI 10.0, в котором основной фичей была поддержка работы фреймворка в ОС Linux и Mac OS (см. постер на эту тему). Одновременно с выпуском новой версии платформы VMware vSphere 6.7 обновился и PowerCLI до версии 10.1.

Вот какие основные нововведения появились в PowerCLI 10.1:

• Полная поддержка VMware vSphere 6.7
• Поддержка решения NSX-T 2.1
• Новый модуль VMware.Vim
• Новые командлеты для управления бандлами сценариев Auto Deploy

Модуль VMware.Vim - это двадцатый модуль PowerCLI, который дает доступ к последним API платформы, включая те, что используются для управления облачной инфраструктурой VMware Cloud on AWS.

Для Auto Deploy появилось два новых командлета:

• Set-ScriptBundleAssociation - позволяет ассоциировать хост ESXi с определенным бандлом сценариев.
• Remove-ScriptBundle - соответственно, удаление бандла сценариев.

Напомним, что начиная с версии 10.0, фреймворк PowerCLI не дает возможность работать с недействительным сертификатом. Чтобы разрешить это, надо выполнить команду:

Set-PowerCLIConfiguration -InvalidCertificateAction Ignore

Обновление на PowerCLI 10.1 выполняется одной командой:

Update-Module -Name VMware.PowerCLI

Ссылки, которые вам будут полезны при работе с PowerCLI 10.1:

• VMware PowerCLI Change Log
• VMware PowerCLI 10.1.0 User’s Guide
• VMware PowerCLI 10.1.0 Cmdlet Reference

В последнее время мы много писали о новых возможностях платформы VMware vSphere 6.7, напомним наши последние статьи:

• Новая версия платформы виртуализации VMware vSphere 6.7 доступна для скачивания
• Сравнение максимумов конфигурации VMware vSphere 6.5 и 6.7
• Новые возможности VMware vCenter 6.7 - развертывание vCSA стало опцией по умолчанию
• Как отреагировали вендоры решений резервного копирования виртуальных машин на релиз VMware vSphere 6.7
• Новые возможности VMware vSAN 6.7 в составе vSphere 6.7
• Обновленный VMware Update Manager в vSphere Client 6.7
• Рекомендации по обновлению на VMware vSphere 6.7
• Новые фишки безопасности VMware vSphere 6.7 - поддержка Virtualization Based Security
• Новые возможности технологии Instant Clone в VMware vSphere 6.7

Ну а сегодня расскажем о новых возможностях программных интерфейсов API в vSphere 6.7. В первую очередь надо сказать, что появилось несколько наборов RESTful API, которые были полностью переписаны, чтобы соответствовать современному состоянию виртуальной инфраструктуры vSphere.

1. API виртуальных модулей (Appliance API).

Здесь основные улучшения произошли в сфере резервного копирования и восстановления модулей, а также их обновления. Помимо этого, был улучшен процесс мониторинга процесса бэкапа, и, что главное, появилась возможность запланированного запуска резервного копирования через API:

Кроме этого, теперь есть возможность управления жизненным циклом модуля и его обновлением через API. Здесь доступен полный набор интерфейсов - от предпроверок для проведения обновления, до стэйджинга и накатывания самого апдейта с последующей валидацией.

Многие API виртуальных модулей, которые ранее были доступны как превью, теперь выпущены официально. Среди них: управление службами модуля, изменение сетевой конфигурации и настроек NTP. Также появилась давно ожидаемая фича - питанием виртуального модуля теперь можно управлять через API.

2. Обновления vCenter API.

В интерфейсе vCenter RESTful API появилось более 40 новых методов. Они касаются взаимодействия с гостевыми ОС виртуальных машин, просмотра политик хранилищ Storage Policy Based Management (SPBM), а также управления службами vCenter.

Кроме того, через API теперь доступны операции по управлению жизненным циклом vCenter - развертывание, реконфигурация развернутой топологии, отчет о текущем состоянии Platform Services Controller (PSC) и т.п.

Также появилась возможность и обновлять vCenter через API:

3. Прочие улучшения API.

Помимо перечисленного, были сделаны улучшения в vSphere Web Services (SOAP) API. Появились методы по очистке всех сработавших алармов, функциональность управления виртуальным Trusted Platform Module (TPM), а также механизмом Enhanced vMotion Compatibility (EVC).

Также, как мы писали вот тут, появился новый метод по созданию мгновенного клона ВМ (Instant Clone):

Ну и, наконец, появилась возможность узнать дату и время создания виртуальной машины. Для этого нужно обратиться к свойству createDate объекта VirtualMachineConfigInfo.

Мы много писали о релизе новой версии платформы виртуализации VMware vSphere 6.7 и ее возможностях, а сегодня хотим рассказать про нововведения функции Instant Clone, о которых написал Дункан Эппинг. Напомним, что функция мгновенного клонирования виртуальной машины (ранее известная как VMFork) позволяет очень быстро сделать работающую копию запущенной ВМ на платформе VMware vSphere.

Делается это за счет того, что "на лету" создается клон виртуальной машины (VMX-файл, процесс в памяти), который начинает использовать ту же память (Shared memory) на чтение, что и родительская ВМ. При этом дочерняя ВМ в общую память писать не может, а для записи собственных данных используется выделенная область памяти. Для дисков аналогично - с использованием технологии Copy-on-write в дельта-диск дочерней ВМ пишутся отличия от базового диска родительской ВМ:

Такая схема использования родительской ВМ в VMware vSphere 6.5 требовала, чтобы родительская машина и ее мгновенные клоны находились на одном сервере ESXi. А значит для этих ВМ не поддерживались такие технологии, как vMotion/HA/Storage vMotion и DRS. Между тем, это очень важно для служб тестирования, отделов DevOps и т.п.

Теперь же в VMware vSphere 6.7 появились следующие улучшения Instant Clone:

• Появился простейший публичный API, который позволяет автоматизировать процесс создания и перемещения мгновенных клонов. Он умеет пока не все, но будет развиваться. GUI для этого пока также нет.
• Интеграция с технологиями vSphere для обеспечения доступности виртуальных машин (HA, DRS, vMotion, Storage / XvMotion и т.п.).
• Поддержка двух рабочих процессов создания мгновенных клонов: первый - это последовательное создание клонов в процессе работы родительской виртуальной машины, второй - отпочковывание клонов от "замороженной" родительской ВМ.
• Использование технологии P-Share для дедупликации страниц памяти средствами технологии Transparent Page Sharing (даже когда она отключена на хосте ESXi).
• Теперь отношение родитель-клон не такое тесно связанное, как раньше.

Давайте посмотрим на первый рабочий процесс - создание мгновенных клонов работающей ВМ. Это, например, может пригодиться, когда вы массово тестируете обновление компонентов какого-либо приложения. Обновили первый компонент - сделали несколько клонов для тесткейсов, провели тесты, потом обновили следующий - и снова сделали несколько клонов для тестирования.

Схематично это выглядит вот так:

У родительской ВМ создается дельта-диск, который используется первым мгновенным клоном, потом базовая ВМ несколько меняется за время до создания следующего - и на момент создания нового мгновенного клона будет использоваться уже следующий дельта-диск и так далее. Пока для этого нет визуального интерфейса, но все это можно потестировать через MOB-браузер.

Такая схема имеет недостаток в том, что у родительской ВМ плодятся дельта-диски, что приводит к тому, что быстродействие родительской ВМ замедляется, а сама структура за счет увеличения числа дисков существенно усложняется, что потенциально может привести к различного рода сбоям.

Также в данном случае есть проблема сетевой идентификации - все виртуальные машины, которые рождаются как мгновенные клоны имеют те же настройки IP и MAC-адреса, что и родитель. Чтобы изменить их потребуется выполнить следующие действия:

1. После создания Instant Clone внутри нужно отключить сетевой интерфейс через свойство VirtualEthernetCard->connectable->migrateConnect, устанавливаемое в значение disconnect. Далее нужно задать настройки сетевой идентификации ВМ.
2. Если не хочется менять параметры сетевой идентификации, новые ВМ можно просто запускать в отдельной портгруппе, без выхода во внешнюю сеть во избежание конфликтов IP и MAC-адресов.
3. Внутри мгновенного клона нужно обновить настройки сетевого интерфейса, чтобы гостевая ОС получила новый MAC-адрес. Это можно автоматизировать через Guest Operations API.
4. Снова присоединить виртуальную сетевую карту к ВМ, чтобы новые настройки были применены и машина свободно работала в сети. Для этого нужно установить значение свойства VirtualEthernetCard->connectable->connected в true.

Вторая схема - это "заморозка" родительской ВМ таким образом, что ее CPU перестает исполнять инструкции (для этого используется функция instantclone.freeze в утилите vmware-rpctool). После этого механизм Instant Clone способен создавать связанные клоны этой подмороженной ВМ.

Это позволяет не плодить дельта-диски родительской ВМ (так как ее состояние не изменяется) и достичь унифицированной конфигурации мгновенных клонов:

Такая схема может подойти для масштабирования каких-либо типовых унифицированных нагрузок в виртуальных машинах - например, VDI, хосты с контейнерами, Hadoop-воркеры и так далее.

Поморозка ВМ происходит средствами утилиты vmware-rpctool, которая развертывается в виртуальной машине вместе с VMware Tools.

Также теперь мгновенные клоны существенно меньше привязаны к родительской ВМ, что позволяет использовать их более широко, а сами они называются "parentless".

Ну и напоследок обзорное видео от Дункана, посвященное использованию Instant Clones в платформе VMware vSphere 6.7:

Кроме этого, советуем также почитать вот эту статью Вильяма Лама, посвященную мгновенным клонам.

Как вы знаете, за прошедшие несколько недель состоялось несколько больших релизов от VMware, вышли обновления как самой платформы виртуализации VMware vSphere 6.7, так и апдейты продуктов VMware Site Recovery Manager 8.1, vRealize Operations 6.7 и других.

Вот суммарно что нового появилось в vSphere 6.7, если постараться уместить это на одну картинку:

Поэтому для многих пользователей VMware vSphere 6.5/6.0/5.5 пришло время большого апгрейда, особенно учитывая, что 19 сентября этого года заканчивается поддержка vSphere 5.5.

Правда не надо забывать, что системы резервного копирования еще не поддерживают vSphere 6.7, но, я думаю, эта ситуация исправится в самом ближайшем будущем. Ну и помните, что напрямую обновиться с vSphere 5.5 на 6.7 не получится, придется делать промежуточный апгрейд на 6.0/6.7:

Поддерживаемые пути апгрейда на vSphere 6.7 включают в себя следующие способы:

• Установщик ESXi
• Интерфейс ESXCLI
• Решение vSphere Update Manager (VUM)
• Механизм Auto Deploy

VMware написала в своем блоге интересный пост с рекомендациями по обновлению на vSphere 6.7, приведем оттуда самые важные моменты.

1. Общие рекомендации по платформе vSphere.

• vSphere 6.0 - это минимальная версия для апгрейда на vSphere 6.7.
• vSphere 6.7 - это последний релиз, который требует ручного указания всех сайтов SSO.
• В vSphere 6.7 только TLS 1.2 включен по умолчанию, TLS 1.0 и TLS 1.1 по умолчанию отключены.
• Так как структура метаданных томов VMFS6 изменилась, чтобы поддерживать выравнивание по 4K блокам, вы не сможете сделать апгрейд датастора VMFS5 на VMFS6. Это так и осталось со времени vSphere 6.5 (смотрите KB 2147824).

2. Рекомендации по обновлению vCenter.

• Развертывание vCenter Server Appliance 6.7 (vCSA) является рекомендуемой конфигурацией.
• vCenter Server 6.7 for Windows - это последний релиз для платформы Windows, далее все будет только на базе виртуального модуля.
• vCenter Server 6.7 не поддерживает Host profiles с версией ниже 6.0 (см. KB52932).
• vCenter Server 6.7 поддерживает работу Enhanced Linked Mode с внедренным компонентом Embedded PSC. Но это поддерживается только для чистых установок, а не апгрейдов. Будьте внимательны!
• Если вы используете защиту сервера vCenter в платформе vSphere 6.5 (vCenter High Availability, VCHA), то нужно будет удалить всю конфигурацию VCHA перед проведением апгрейда.

3. Совместимость с другими продуктами VMware.

На момент написания статьи vSphere 6.7 не поддерживала работу со следующими решениями последних версий:

• VMware Horizon
• VMware NSX
• VMware Integrated OpenStack (VIO)
• VMware vSphere Integrated Containers (VIC)

Также отметим, что в этой версии vSphere больше нет продукта VMware vSphere Data Protection (VDP), об этом мы писали здесь. Также нотификацию об этом можно увидить на странице сайта VMware, посвященной VDP.

4. Рекомендации по оборудованию.

• vSphere 6.7 больше не поддерживает некоторые модели процессоров от AMD и Intel. Их список приведен вот тут, а проверить текущую совместимость можно по этой ссылке.
• Следующие CPU пока еще поддерживаются, но их поддержка может быть прекращена в следующей версии:
  • Intel Xeon E3-1200 (SNB-DT)
  • Intel Xeon E7-2800/4800/8800 (WSM-EX)
• Виртуальные машины, которые совместимы с ESX 3.x и всеми более поздними версиями (начиная с hardware version 4) поддерживаются хостами ESXi 6.7.
• Версия железа Hardware version 3 больше не поддерживается.
• VM hardware version теперь называется VM Compatibility. Помните, что сначала надо обновить ее на машине до последней версии перед использованием на платформе vSphere 6.7.

Ну а мы со своей стороны рекомендуем всегда делать свежую установку vSphere, если это возможно, а не делать апгрейд, чтобы накопившиеся в прошлом прошлом проблемы вы не унаследовали в новой инсталляции.

Как вы все уже знаете, недавно компания VMware выпустила обновленную версию платформы виртуализации VMware vSphere 6.7. Помимо описания новых возможностей решения мы также останавливались на новых функциях VMware vCenrer 6.7, а сегодня расскажем о некоторых нововведениях тонкого клиента VMware vSphere Client 6.7, построенного на базе технологии HTML5.

Напомним, что vSphere Client не удалось добить до полной функциональности, поэтому VMware выпустила и финальный релиз vSphere Web Client 6.7 на базе технологии Flash. Но обещают, что функционал клиентов уже почти одинаковый. Одним из шагов на пути к этому стала поддержка основных рабочих процессов vSphere Update Manager (VUM) в HTML5-клиенте.

Надо начать с того, что интерфейс VUM был полностью переработан, а не просто скопирован с Web Client. Рабочие процессы стали проще и понятнее.

Кстати, обратите внимание на гифке выше, как удобно теперь стало искать обновления для хостов ESXi с помощью встроенного в таблицу со списком апдейтов поля поиска.

Многошаговый мастер по обновлению хостов ESXi 6.0-6.7 был заменен простым рабочим процессом, в рамках которого процедура remediation требует лишь нескольких кликов:

Также процедура предварительной проверки кластера (pre-check) была вынесена в отдельный рабочий процесс, чтобы не инициировать воркфлоу обновления напрасно.

Между тем, не все рабочие процессы VUM были реализованы - в новой версии этого средства нет обновления VMware Tools и средств проверки совместимости "железа" (hardware compatibility). Но их обещают включить в ближайшем релизе.

Также существенно был ускорен процесс обновления с vSphere 6.5 на vSphere 6.7. Если раньше перед проведением обновления нужно было перезагрузить ESXi, а потом еще и после во второй раз, то теперь само обновление за счет оптимизаций идет быстрее, а перезагрузка требуется всего одна.

Помимо этого, теперь информация об обновлениях более полная и включает в себя критичность апдейта, требуется ли перезагрузка, что именно находится внутри и т.п.

Скачать VMware vSphere 6.7 можно по этой ссылке.

Как вы знаете, на прошлой неделе компания VMware выпустила обновление платформы виртуализации VMware vSphere 6.7. Одновременно с этим было выпущено и обновление средства создания отказоустойчивых кластеров VMware vSAN 6.7 (оно идет в комплекте с vSphere). Напомним, что о прошлой версии vSAN 6.6.1 мы писали вот тут.

Давайте посмотрим, что нового появилось в vSAN 6.7:

1. Новый интерфейс vSphere Client.

Теперь vSAN можно управлять через HTML5-клиент vSphere Client, который построен на базе фреймворка Clarity, что делает использование рабочих процессов для кластеров хранилищ простым и понятным. Надо отметить, что эти рабочие процессы не были перенесены напрямую из Web Client, а разработаны с самого начала, поэтому выглядят современно и просты в использовании.

2. Поддержка vRealize Operations для vCenter и разделов vSAN.

Традиционно пользователи vSAN должны были использовать две консоли - консоль vCenter и консоль vRealize Operations. Теперь в новой версии vSphere 6.7 появилась функция "vRealize Operations within vCenter", которая позволяет просматривать информацию о кластере vSAN, его параметрах и проблемах через vSphere Client в разделе vRealize Operations:

Вся базовая аналитика кластеров vSAN видна здесь, а если вам потребуется более детальная информация для изучения проблемы - вы можете запустить соответствующий раздел vRO прямо отсюда в два клика.

3. Поддержка других кластерных решений.

В новой версии vSAN 6.7 теперь поддерживается использование других кластерных технологий в рамках датасторов vSAN:

Среди поддерживаемых кластерных решений для vSAN уже были следующие продукты: Microsoft SQL Always-on Availability Groups (AAG), Microsoft Exchange Database Availability Groups (DAG) и Oracle Real Application Clusters (RAC). Таргеты для этих решений предоставляются средствами технологии vSAN iSCSI.

Теперь в этот набор добавилась технология Windows Server Failover Clusters (WSFC) - она также поддерживается со стороны vSAN 6.7. На эту тему VMware выпустила отдельное видео:

4. Функция Adaptive Resync.

В vSAN 6.7 появилась абсолютно новая фича Adaptive Resync, которая позволяет адаптивно регулировать ширину канала для операций ввода-вывода VM I/O и Resync I/O, в зависимости от загрузки производственной системы.

Эта возможность также позволяет гарантировать, что из-за выедания канала каким-то вида трафика, использующего его, остальные типы трафика (см. на картинке выше) не будут блокированы. Также Adaptive Resync выделяет каналам ввода вывода для ВМ и синхронизации кластера vSAN необходимые ресурсы, когда известно, что их использование не скажется на производительности в целом.

5. Оптимизированный механизм de-staging.

В vSAN 6.7 было сделано множество улучшений в плане оптимизации путей данных, а именно дестейджинга данных из кэша на запись (Write Cache) в сторону дисков. Вследствие этого все работает намного быстрее, теперь кэш на запись быстрее "дренируется" на диски, освобождая место для следующих операций ввода-вывода. Это ускоряет не только работу виртуальных машин, но и каналов ресинхронизации.

6. Улучшенные проверки состояний (хэлсчеки).

В vSAN самодиагностика поднялась на новый уровень. Теперь данные о конфигурации кластера собираются с помощью vSAN Support Insight и визуализуются в vSphere Client.

vSAN 6.7 теперь предоставляет следующие новые хэлсчеки, которые будут полезны для администраторов и служб технической поддержки:

• Верификация перехода в режим Maintenance mode (позволяет убедиться в правильности вывода хоста из эксплуатации на время или навсегда).
• Проверка консистентности конфигураций для раздела advanced settings.
• Улучшенные тесты сетевой доступности для сетей vSAN и vMotion.
• Улучшенная проверка установки vSAN Health service.
• Теперь улучшенные проверки физических дисков можно комбинировать с другими несколькими проверками в рамках единой нотификации.
• Проверка Firmware теперь независима от проверки драйверов.

Скачать VMware vSAN 6.7 можно теперь в составе платформы VMware vSphere 6.7. Ну и, напоследок, технический обзор решения VMware vSAN 6.7:

Как вы знаете, совсем недавно компания VMware выпустила обновление платформы виртуализации VMware vSphere 6.7, включая гипервизор ESXi 6.7 и средство управления vCenter Server 6.7. Одной из важных составляющих виртуальной инфраструктуры виртуализации является инфраструктура резервного копирования виртуальных машин. Вряд ли можно себе представить крупную компанию, которая обновляет хосты ESXi 6.0/6.5 на 6.7 и готова остаться без резервного копирования ВМ.

Между тем, с поддержкой новой версии vSphere 6.7, которая вышла 18 апреля, у вендоров решений резервного копирования все весьма плохо. Давайте посмотрим, как именно (об этом рассказал блог tinkertry):

• Altaro VM Backup - на сайте никаких новостей про версию 6.7.
• Commvault - на сайте никаких новостей про версию 6.7.
• Micro Focus VM Explorer Virtual Machine Backup - на сайте никаких новостей про версию 6.7.
• NAKIVO Backup & Replication - на сайте никаких новостей про версию 6.7.
• Unitrends Backup - на сайте никаких новостей про версию 6.7.
• Vembu Backup and Replication - на сайте никаких новостей про версию 6.7.
• Veeam Backup & Replication - на сайте нашлась статья KB 2443, в которой, правда, написано, что vSphere 6.7 пока не поддерживается.

Как мы видим, только Veeam позаботилась о том, чтобы проинформировать своих пользователей о поддержке (а точнее неподдержке) новой версии vSphere 6.7.

При попытке использовать Veeam Backup and Replication 9.5 Update 3 вы получите вот такое сообщение об ошибке:

Error: Object reference not set to an instance of an object

Поэтому придется ждать обновления Update 3a, в котором vSphere 6.7 будет полностью поддерживаться для резервного копирования, репликации и восстановления виртуальных машин. Оно выйдет в самом ближайшем будущем (мы обновим пост).

Update:

1. В блоге Symantec сообщают, что Symantec Backup Exec 20.1 поддерживает последнюю версию vSphere 6.7 (и поддерживал с момента ее выхода).

2. Также в комментариях нам написали, что Veeam Backup and Replication также работает, хотя на форуме Veeam пишут, что бэкап не работает.

На днях компания VMware объявила о выпуске обновленной версии платформы виртуализации VMware vSphere 6.7 (она уже доступна для скачивания). Сегодня мы расскажем о новой версии управляющего сервера VMware vCenter 6.7 и его новых возможностях.

Начать надо с того, что виртуальный модуль VMware vCenter Server Appliance (vCSA) 6.7 теперь рекомендован для развертывания по умолчанию, а значит VMware уже окончательно рекомендует перейти на этот вариант средства управления виртуальной инфраструктурой.

1. Средства управления жизненным циклом.

Об этом мы уже упоминали в статье про vSphere 6.7. Теперь vCenter Server Appliance 6.7 позволяет развернуть vCenter Server с внедренным компонентом Embedded PSC и поддержкой Enhanced Linked Mode. Это дает следующие преимущества:

• Теперь для высокой доступности vCSA не нужен балансировщик, и технология vCenter Server High Availability поддерживается нативно.
• Теперь проще развертывать инфраструктуру Single Sign-On Domain.
• Поддержка максимумов масштабирования vSphere.
• Можно делать до 15 развертываний vCSA в рамках одного домена vSphere SSO.
• Уменьшение числа узлов, которые надо обслуживать и поддерживать.

Также в составе vSphere 6.7 есть последняя версия vCenter Server 6.7 for Windows, которая уже не будет доступна в следующих версиях платформы. Теперь при миграции старого vCenter на vCSA есть две опции по импорту исторических данных БД:

• Развертывание и мгновенный импорт данных
• Развертывание и импорт данных в фоновом режиме

При этом показывается примерное время простоя сервисов vCenter во время этих процессов:

Также если вы выбрали импорт данных в бэкграунде, то потом можете поставить этот процесс на паузу. Помимо этого, был улучшен интерфейс процесса миграции, а также появилась возможность выбрать кастомные порты, чтобы не перенастраивать фаервол.

Что касается апгрейда с прошлых версий, то vCenter поддерживает только обновление с vSphere 6.0 и 6.5, а vSphere 5.5 остался в пролете, хотя все еще много пользователей этой версии. Таким клиентам надо будет делать чистую установку или мигрировать сначала на 6.0/6.5 (лучше, все же, ставить заново).

Кстати, помните, что конец поддержки vSphere 5.5 наступает 19 сентября 2018 года.

2. Мониторинг и управление.

В первую очередь надо сказать, что интерфейс инструментария vSphere Appliance Management Interface (VAMI) теперь построен на базе фреймворка Clarity, что делает работу с vCSA простой и приятной:

Теперь при управлении vCSA можно пользоваться отдельным разделом Monitoring для проверки состояния виртуального модуля, а также появилась вкладка Disks, где видны разделы vCSA и их заполненность.

Также появилась вкладка Services, где можно смотреть за состоянием служб vCSA. Кроме этого, были улучшены службы Syslog (теперь можно использовать до трех таргетов), а также Update (теперь можно выбрать патч или апдейт, который будет накатываться). Из VAMI теперь можно отправить патч на стейджинг и потом поставить его, ранее это было доступно только через CLI.

Помимо этого, теперь информация об обновлениях более полная и включает в себя критичность апдейта, требуется ли перезагрузка, что именно внутри и т.п.

Ну и одна из главных ожидаемых возможностей - бэкап сервера vCSA на уровне файлов. Теперь можно задать расписание резервного копирования и сколько резервных копий сохранять:

Помимо бэкапа есть и восстановление, конечно. При этом браузер архивных копий показывает их все, без необходимости искать пути до этих бэкапов.

3. Улучшения vSphere Client.

Теперь в HTML5-клиенте vSphere Client появились обновленные рабочие процессы для следующей функциональности:

• vSphere Update Manager
• Content Library
• vSAN
• Storage Policies
• Host Profiles
• vDS Topology Diagram
• Licensing

Но, поскольку vSphere Client не удалось добить до полной функциональности, VMware выпустила и финальный релиз vSphere Web Client 6.7 на базе технологии Flash. Но обещают, что функционал уже почти одинаковый.

Из нового в vSphere Client - появились фичи Platform Services Controller (PSC) UI (/psc), которыми можно управлять через раздел Administration. Кроме этого, появилась отдельная вкладка Certificate management в разделе Configuration.

4. Утилиты CLI.

Вернулась утилита cmsso-util, которая может делать отчеты по виртуальным модулям vCSA, находящимися в рамках одного SSO-домена. Также можно сравнить 2 домена SSO и выгрузить в JSON-файл различия между этими доменами. Кроме этого, можно мигрировать лицензии, тэги, категории и права доступа из одного домена SSO в другой.

Второе улучшение CLI - это установщик vCSA, который позволяет управлять жизненным циклом этого виртуального модуля. vCenter Server Appliance ISO идет вместе с примерами JSON-шаблонов развертывания. Эти шаблоны можно использовать для унификации развертывания серверов vCenter, накатывая эти JSON в пакетном режиме друг за другом. Это позволяет убедиться в унификации конфигурации всех узлов vCenter в рамках больших инсталляций на нескольких площадках.

Скачать платформу VMware vSphere 6.7, содержащую управляющие компоненты VMware vCenter 6.7 и vCSA 6.7 можно по этой ссылке.

Компания VMware, спустя ровно полтора года с момента релиза vSphere 6.5, анонсировала скорую доступность новой версии платформы - VMware vSphere 6.7.

Этот релиз сфокусирован на четырех основных областях улучшений:

• Поддержка увеличивающегося числа и разнообразия приложений.
• Рост объемов использования гибридных облаков.
• Понимание глобального расширения онпремизных датацентров.
• Безопасность инфраструктуры и приложений.

Давайте посмотрим, что нового появилось в VMware vSphere 6.7:

1. Enhanced vCenter Server Appliance (vCSA) и масштабируемая инфраструктура.

Теперь в vCSA есть несколько новых API, которые выводят управление платформой на качественно другой уровень. Кроме того, теперь vCSA поставляется с интегрированными службами embedded platform services controller (обеспечивающими работу служб Single Sign-On), которые могут работать в режиме enhanced linked mode.

Также существенно была увеличена производительность vCSA:

• В 2 раза выросло число операций vCenter в секунду.
• В 3 раза уменьшилось потребление памяти.
• В 3 раза увеличилось число операций DRS (например, включение виртуальной машины и ее первичное размещение в кластере).

2. Улучшения механизма загрузки/перезагрузки хоста ESXi.

Здесь появилось 2 основных улучшения:

• При накате мажорных обновлений теперь требуется не 2 перезагрузки, а одна (Single Reboot).
• Новый механизм vSphere Quick Boot позволяет перезагрузить гипервизор без рестарта всего хоста ESXi.

3. Доработанный HTML5 vSphere Client.

В новом релизе будет обновленная версия клиента для управления vSphere Client на базе технологии HTML5 (добавлены функции управления vSAN и Update Manager), правда пока не понятно, будет ли это полноценная замена vSphere Web Client, или обе версии пока продолжат существовать совместно.

4. Большие улучшения безопасности.

VMware vSphere 6.7 предоставляет поддержку аппаратного модуля Trusted Platform Module (TPM) 2.0, а также появился виртуальный модуль Virtual TPM 2.0. Все это позволяет защититься от атак с подменой хостов и виртуальных машин, а также предотвратить загрузку неавторизованных компонентов.

Также были сделаны улучшения механизма VM Encryption в части рабочих процессов при использовании шифрования. Теперь при миграции виртуальных машин между различными экземплярами vCenter также можно использовать Encrypted vMotion, что расширяет сферу применения данной технологии до гибридных облачных инфраструктур (защищенная горячая миграция в датацентр сервис-провайдера) или инфраструктур с географически разнесенными датацентрами.

Помимо этого, vSphere 6.7 теперь поддерживает технологию Virtualization Based Security, которая используется в гостевых ОС Microsoft Windows.

5. Улучшения поддержки высокопроизводительных приложений.

Как многие из вас знают, поддержка vGPU от NVIDIA и AMD есть в платформе vSphere уже довольно давно. Используется она сейчас не только для виртуальных ПК, но и для таких задач, как системы искусственного интеллекта, machine learning, big data и прочее. Теперь в vSphere 6.7 поддержка такого рода вариантов использования была расширена.

С помощью технологии vSphere Persistent Memory пользователи могут использовать специальные аппаратные модули от Dell-EMC и HPE, которые могут использовать высокопроизводительные системы хранения с большим числом IOPS или предоставлять их возможности гостевым системам как non-volatile memory. Теперь во многих вариантах использования высокопроизводительные приложения смогут работать быстрее.

6. Бесшовная интеграция с гибридной средой.

Теперь в VMware vSphere 6.7 появился режим работы vCenter Server Hybrid Linked Mode, в котором можно соединить две инфраструктуры - вашу онпремизную с одной версией vSphere и облачную, например, VMware Cloud on AWS с другой версией платформы.

Помимо этого, в vSphere 6.7 появились механизмы Cross-Cloud Cold и Hot Migration, которые позволяют переносить нагрузки в онлайн и офлайн режиме между облаками и онпремизной инфраструктурой.

Когда это происходит, виртуальной машине приходится перемещаться между хостами с разными наборами инструкций процессора. Поэтому в vSphere появилась технология Per-VM EVC (Enhanced vMotion Compatibility), которая позволяет подготовить виртуальную машину к миграции на совершенно другое оборудование.

Также появилась фича поддержки операций cross-vCenter, mixed-version provisioning (таких как vMotion, полное клонирование, холодная миграция), которая позволяет производить эти операции между различными vCenter различных версий (что тоже неизбежно в гибридной среде - вроде связки с vCloud on AWS).

Скачать VMware vSphere 6.7 можно уже сейчас по этой ссылке.

Также обратите внимание на эту страницу, посвященную запуску vSphere 6.7. В ближайшее время мы расскажем о некоторых из описанных функций подробнее.

На днях компания VMware выпустила Configuration Maximums Tool - средство, которое позволяет посмотреть максимумы конфигурации платформ виртуализации, виртуальных машин и других решений VMware в различных категориях. На данный момент поддерживаются версии VMware vSphere 6.0, 6.5 и 6.5 Update 1 (кстати о сравнении максимумов 6.5 и 6.0 мы писали вот тут).

По умолчанию мы видим следующие Configuration Maximums, которые можно сворачивать-разворачивать в пределах категории:

• Virtual Machine Maximums
• ESXi Host Maximums (Compute)
• ESXi Host Maximums (Memory)
• ESXi Host Maximums (Storage)
• ESXi Host Maximums (Networking)
• ESXi Host Maximums (Cluster and Resource Pools)
• ESXi Host Maximums (VMDirectPath)
• vCenter Server Maximums
• vCenter Server Maximums (Storage DRS)
• Platform Services Controller
• vCenter Server Extensions (Update Manager)
• vCenter Server Extensions (vRealize Orchestrator)
• VMware vSphere Flash Read Cache
• VMware vSAN
• Virtual Volumes

Также многим будет интересна фича сравнения максимумов различных версий VMware vSphere:

Сравнить можно 2 или 3 версии платформы, а результат выгрузить в XLS-файл, чтобы использовать его в MS Excel.

VMware Configuration Maximums Tool доступен по этой ссылке: https://configmax.vmware.com/.

Многие администраторы платформы VMware vSphere заметили, что в версии VMware vSphere 6.5 несколько поменялся механизм запуска виртуальных машин в случае сбоя в кластере HA. Об этом интересно недавно написал Дункан Эппинг.

Напомним, что приоритет HA Restart Priority нужен для того, чтобы виртуальные машины могли запуститься в определенном порядке, и их сервисы корректно подхватили уже работающие приложения, запущенные предыдущей очередью ВМ. Всего один хост VMware ESXi может одновременно начать запуск до 32 виртуальных машин, поэтому в большом кластере с большим числом ВМ это действие нужно приоритизировать.

С точки зрения наступления момента запуска следующей очереди набора ВМ есть 4 таких события:

• Resources are allocated - это дефолтная настройка в кластере HA. Ресурсы аллоцируются в тот момент, когда master-хост выбрал хосты для восстановления и запуска ВМ. Это занимает совсем небольшое время (миллисекунды).
• VMs are powered on - это означает, что машина запустилась, и ESXi считает ее запущенной (но не гостевую ОС). Это занимает иногда 10-20 секунд, а иногда и несколько минут.
• Guest heartbeat is detected - это когда от гостевой ОС VMware получает отклик, например, через VMware Tools.
• App heartbeat is detected - это когда получен отклик от определенного приложения. В этом случае у вас должен быть настроен VM/Application Monitoring, который позволит оповестить о том, что приложение запустилось, и можно его использовать.

Если вам нужно убедиться, что работает сервис (то есть гостевая ОС и приложения), так как ВМ следующей очереди должны его использовать - то нужно опираться на последние два события.

Теперь приоритет восстановления ВМ (Restart Priority) содержит 5 уровней вместо трех, которые были в vSphere 6.0:

• Lowest
• Low
• Medium
• High
• Highest

Такие странные названия сделаны в целях совместимости с прошлой классификацией - Low, Medium и High.

Чтобы начать настройку Restart Priority, в vSphere Web Client нужно выбрать кластер HA и перейти на вкладку Configure, после чего выбираем раздел VM Overrides и нажимаем кнопку "Add":

Далее выбираем виртуальные машины, для которых мы хотим задать приоритет запуска:

И здесь главное - это выбор нужного приоритета из пяти уровней и выставление условия "Start next priority VMs when", то есть триггера запуска следующей очереди приоритета:

Все эти настройки применяются и для кластера, в котором не работает vCenter (в случае большого сбоя). Ну и посмотреть текущие настройки приоритетов запуска ВМ в кластере HA можно следующей командой:

/opt/vmware/fdm/fdm/prettyPrint.sh clusterconfig

Вывод будет очень большим, так что ищите в нем текст "restartPriority".

У некоторых пользователей VMware vSphere при обновлении серверов VMware ESXi возникает проблема - при выполнении команды "esxcli software vib update" в ответ возникает ошибка "No space left on device", хотя с дисками все в порядке, и на них много свободного места, в чем можно убедиться с помощью команды df -h.

Например, появляется вот такой вывод при попытке обновления:

[InstallationError]

[Errno 28] No space left on device

vibs = VMware_bootbank_esx-base_6.5.0-1.41.7967591

Please refer to the log file for more details.

В то же время вывод df -h говорит, что места на всех разделах достаточно:

Очень редко причина такого поведения оказывается проста - на хосте не хватает файловых объектов inodes, как описано в KB 1007638. Это объекты файловой системы, которых может быть до 640 тысяч на одном томе VMFS. Их используемое количество зависит от числа файлов в файловой системе в данный момент.

Проверить наличие свободных inodes можно командой stat -f /:

На картинке мы видим, что запас их еще весьма большой - они почти не израсходованы. Как правило, указанного лимита достичь очень и очень сложно, поэтому чаще всего упомянутое выше сообщение об ошибке связано совсем с другим. Но если вы все же достигли этого лимита, решение тут несложное - удалить какое-то число файлов с ESXi.

Например, можно найти лог-файлы и прочие файлы на хосте ESXi размером более 50 МБ, которые находятся НЕ на томах VMFS (чтобы не задеть логи ВМ), можно следующей командой:

find / -path "/vmfs" -prune -o -type f -size +50000k -exec ls -l '{}' \;

По итогу будет сгенерирован список преимущественно локальных файлов, который будет содержать ISO-образы, большие лог-файлы и т.п., которые уже скорее всего не нужны, и их можно удалить (а лучше переместить на какое-нибудь хранилище в целях архивирования). Также рекомендуем почитать KB 1008643, которая как раз посвящена удалению файлов в целях высвобождения объектов inodes.

Между тем, в случае появления приведенной в начале статьи ошибки о недостатке свободного места очень вероятно, что хост ESXi не может аллоцировать достаточно оперативной памяти (RAM) для проведения обновления. В этом случае вам просто надо включить ESXi system swap, который будет размещен на одном из датасторов, куда будут сбрасываться страницы оперативной памяти при недостатке памяти во время обновления.

Сделать это можно, зайдя в раздел Manage > Settings > System Swap, после чего нажав Edit...:

Выберите датастор и нажмите Ok. Также это можно сделать с помощью функционала Host Profiles:

После выбора датастора для системного свопа обновите хост ESXi и перезагрузите его.

В самом конце прошлого года компания VMware выпустила обновление пакета улучшений гостевых систем VMware Tools 10.2.0. А на днях эта ветка пакета обновилась до версии VMware Tools 10.2.5. Напомним, что ветка тулзов 10.2 - это идейный продолжатель первого ответвления 10.1, которое содержит развивающиеся версии для современных гостевых ОС.

Обновленные VMware Tools совместимы с VMware vSphere 5.5 и более поздними версиями платформы, а также с продуктами для настольной виртуализации VMware Workstation и Fusion.

Давайте посмотрим, что нового появилось в VMware Tools 10.2.5:

• VMware Tools 10.2.5 поддерживает следующие операционные системы:
  • Образ windows.iso поддерживает Windows Vista и более поздние ОС.
  • Образ linux.iso поддерживает Red Hat Enterprise Linux (RHEL) 5 и более поздние, SUSE Linux Enterprise Server (SLES) 11 и позднее, Ubuntu 10.04 и позднее. Также он поддерживает другие дистрибутивы с glibc версии 2.5 и более поздние.
  • Образ darwin.iso поддерживает Mac OS X версии 10.11 и позднее.
  • Образ solaris.iso поддерживает какие может версии Solaris.
• Изменения драйвера NSX: VMware Tools 10.2.5 поддерживают драйвер vnetWFP от Windows 7 и более поздних ОС.
• Возможности Quiesced snapshots - теперь можно исключать некоторые файловые системы из "подмороженных" снапшотов (quiesced snapshots) в гостевых ОС Linux. Эта конфигурация может быть установлена в файле настроек VMware Tools (подробнее написано в документации).
• Настройка отключения display resolution mode: в KB 53572 написано о том, как отключить эту настройку. Чтобы не позволить изменять разрешение экрана через VMware Tools, в VMX-файл виртуальной машины нужно добавить строчку:
  guestInfo.svga.wddm.modeset="FALSE"
  
• Изменения в сетевом драйвере виртуальных сетевых адаптеров виртуальных машин VMXNET3:
  • Функции Receive Side Scaling (RSS) включены по умолчанию.
  • Receive Throttle: дефолтное значение этой настройки установлено в 30.
    Важно отметить, что эти две настройки не обновят существующие сетевые адаптеры. Новые настройки будут применены только к свеженакатанным VMware Tools или при добавлении новых адаптеров к ВМ. Для обновления существующих адаптеров используйте скрипт. Более подробно об этом рассказано в KB 2008925.

Загрузить VMware Tools 10.2.5 можно по этой ссылке. Release notes доступны тут, а полный набор документации - тут.

На днях компания VMware обновила свое средство для управления виртуальной инфраструктурой на базе технологии HTML5 - на сайте проекта VMware Labs появился VMware vSphere Client версии 3.36.

Напомним, что о версии 3.34 этого продукта мы писали в середине февраля вот тут, поэтому давайте взглянем на новые функции и улучшения последних двух версий клиентов - VMware vSphere Client 3.36 и 3.35:

• Кастомизация дополнительных устройств и опций при создании виртуальной машины или ее клонировании:
• Host USB device
• SCSI controller
• USB controller
• SATA controller
• CPU > CPUID Mask > Advanced
• VM Options > VMRC options
• VM Options > VMware Tools > Power Operations
• VM Options > Power Management > Wake up on LAN
• VM Options > Advanced Configuration Parameters
• VM Options > Fibre Channel NPIV
• Оповещение перед тем, как происходит операция над шаблоном ВМ, который в данный момент управляется клиентом.
• Улучшения интерфейса для быстрого поиска (Quick search).
• Улучшения в панели управления дисками ВМ - теперь они объединяются в группы в разделе VM Summary->Edit Settings (если их больше 4 штук).
• Несколько исправлений багов и мелких улучшений.

Скачать VMware vSphere Client 3.36 можно по этой ссылке.

Недавно мы писали о полезном документе для администраторов VMware vSphere 6.5 - Performance Best Practices for VMware vSphere 6.5. Этот документ обязательно надо прочитать, там много всего полезного и интересного.

Например, там есть немного про улучшение команды esxtop, показывающей производительность хоста и виртуальных машин в различных аспектах. Теперь там добавилась метрика Power Management, где можно в реальном времени наблюдать за актуальной частотой процессора. Эта информация теперь отображается в колонке %A/MPERF.

Чтобы добавить ее, после запуска esxtop нажмите клавишу <p> и затем клавишу <f> для добавления колонки.

Вы увидите значения, некоторые из которых больше 100. Например, для процессора 2 и 4 на картинке выше значения равны 150. При этом это процессор Xeon E5-2699 v3 2.3 ГГц с функцией разгона частоты Turbo Boost до 3.6 ГГц. Значение 150 означает, что в данный момент процессор работает на частоте 2.3*1.5 = 3.45 ГГц, то есть почти на пределе.

Компания VMware выпустила отличную книгу об обновлении на последнюю версию платформы виртуализации VMware vSphere 6.5 Upgrade eBook. Эта небольшая книга из 32 страниц рассказывает о планировании и реализации процесса апгрейда на vSphere 6.5 и включает в себя множество таблиц, диаграмм и ссылок на документацию о процессе обновления:

Кстати, книга будет особенна полезна пользователям VMware vSphere 5.5, так как поддержка этой версии прекратится 19 сентября этого года.

В книге процесс апгрейда разбит на три фазы:

• Фаза 1: Pre-upgrade – обозначает фронт работ и требований, которые должны быть выполнены перед началом процедуры апгрейда.
• Фаза 2: Upgrade – описание шагов процесса обновления и иллюстрация их исполнения.
• Фаза 3: Post-Upgrade – валидация результата в соответствии с изначально поставленными целями.

В качестве примера в документе рассматриваются 2 пути обновления:

• vSphere 5.5 на vSphere 6.5
• vSphere 6.0 на vSphere 6.5 Update 1

Для каждого из этих сценариев рассматриваются требования и решения, которые необходимо принимать в процессе апгрейда. Все снабжено понятными картинками.

В общем, документ весьма конкретный и полезный. И главное - там очень много нужных ссылок на блоги, статьи KB, документацию и обучающие лабы. Это все - мегаполезные материалы.

Скачать VMware vSphere 6.5 Upgrade eBook можно по этой ссылке.

Продолжаем информировать вас о выпусках обновлений и заплаток уязвимостей Meltdown и Spectre для виртуальной инфраструктуры VMware vSphere. Напомним наши прошлые посты:

• Как отслеживать производительность хостов VMware ESXi после патчей Meltdown и Spectre с помощью VMware vSphere Operations Manager
• Вышел VMware vCenter Server Appliance 6.5 Update 1f - исправлена уязвимость Meltdown и Spectre (частично)
• Производительность хост-серверов VMware ESXi и других платформ после наката патчей для Meltdown и Spectre
• Для VMware vSphere, Workstation и Fusion пофикшена уязвимость Spectre
• Скрипт для проверки виртуальной инфраструктуры VMware vSphere на подверженность уязвимости Spectre

На днях наш читатель Стас прислал новость о том, что VMware выпустила обновления, закрывающие уязвимость Spectre, на этот раз для ключевых компонентов виртуальной инфраструктуры - серверов vCenter и ESXi. Таким образом, согласно VMware Security Advisory VMSA-2018-0004.3, теперь от уязвимости Spectre защищены все основные продукты VMware трех последних поколений:

Начнем с обновлений для vCenter. Тут были выпущены следующие апдейты:

• VMware vCenter Server 5.5 Update 3h (Release notes, скачать)
• VMware vCenter Server 6.0 Update 3e (Release notes, скачать)
• VMware vCenter Server 6.5 Update 1g (Release notes, скачать)

Для серверов VMware ESXi были выпущены следующие патчи:

• ESXi550-201803001 (ESXi550-201803401-BG и ESXi550-201803402-BG)

• ESXi600-201803001 (ESXi600-201803401-BG и ESXi600-201803402-BG)

• ESXi650-201803001 (ESXi650-201803401-BG и ESXi650-201803402-BG)

Чтобы скачать эти обновления для ESXi, нужно пойти VMware Patch Portal и поискать там обновления для соответствующей версии ESXi.

Кроме наката патчей гипервизора VMware ESXi, вам также придется обновить микрокод серверов. Более подробная информация об этом приведена в KB 52085.

Помните, что порядок наката обновлений безопасности таков:

1. Накатываем обновления vCenter.

2. Обновляем ПО гипервизора на серверах VMware ESXi - накатываем апдейты, заканчивающиеся на 01-BG (позволяет гостевым ОС использовать новый механизм speculative-execution control), одновременно с этим обновляем и микрокод серверов (апдейты, заканчивающиеся на 02-BG), которое применяется в процессе загрузки ESXi. Оба патча накатываются в рамках одного профиля.

Многие из вас иногда хотят получить так называемый "Support Bundle", содержащий лог-файлы, диагностическую информацию и метрики производительности, который помогает решать проблемы в инфраструктуры VMware vSphere. В первую очередь, этот бандл нужен для предоставления службе технической поддержки VMware GSS (Global Support Services) информации о конфигурации виртуальной среды, чтобы она могла решать возникающие у клиентов проблемы в рамках обращений (тикетов) в техподдержку.

Но, кроме этого, данный бандл может пригодиться и вам, как, например, описано в этой статье для анализа причин "розового экрана смерти" и прочих аномалий.

Давайте рассмотрим основные способы получения support bundle как для серверов VMware vCenter (для Windows или виртуального модуля vCenter Server Appliance, vCSA), так и для серверов VMware ESXi. Кстати, надо учитывать, что после экспорта бандла с логами результирующий файл будет размером 30-300 МБ в зависимости от того, что вы туда включите, а также как давно и интенсивно менялась конфигурация виртуальной среды.

Получение Support Bundle для серверов vCenter

Самый простой способ получить саппорт бандл - это выгрузить его с помощью vSphere Web Client. Для этого нужно выбрать сервер vCenter в иерархии инвентори и выбрать пункт Export System Logs (работает как для обычного vCenter, так и для vCSA):

Далее вам предложат, какие разделы нужно включить в сгенерированный бандл логов:

Если вы используете vCSA, то можно получить логи через веб-интерфейс. Для этого надо перейти по адресу:

https://<ip vcsa>/appliance/support-bundle

И далее ввести логин и пароль root от виртуального модуля vCSA.

После этого support bundle будет сгенерирован и загружен через ваш браузер.

Кроме этого, есть способ получить логи vCSA из Linux-системы с помощью утилиты curl. Для этого нужно выполнить следующую команду:

curl -k -u root -o support-bundle.tar.gz -O https://<ip vcsa>/applmgmt/support-bundle

После того, как вы скачаете этот бандл, нужно будет разархивировать его командой:

tar -zxvf support-bundle.tar.gz

Также Support Bundle можно получить с помощью PowerCLI. Для этого нужно соединиться с сервером vCenter:

Connect-VIServer -Server HostnameOrIPAddress

И далее использовать следующую команду:

Get-Log -Bundle -DestinationPath c:\Storage\Location\

Более подробная информация об этом приведена в KB 1027932. Там же, кстати, есть информация и о том, как искать в файлах логов с помощью PowerCLI:

Get-VMHost HostNameOrIP | Get-Log LogName | Select -expand Entries | Select-String SearchTerm | More

Здесь SearchTerm - это строка поиска, а LogName - это один из следующих логов:

• hostd
• vpxa
• messages
• vmkernel
• vmksummary
• vmkwarning

Получение Support Bundle для серверов ESXi

По аналогии с получением бандла для сервера VMware vCenter или vCSA, в vSphere Client можно выбрать сервер VMware ESXi и выбрать для него пункт "Export System Logs":

Также можно сгенерировать Support Bundle через тонкий клиент для управления серверами VMware ESXi - Embedded Host Client (он же - просто веб-интерфейс для управления хостами ESXi). Он доступен при соединении с хостом ESXi по ссылке:

https://<ip esxi>/ui

Для генерации саппорт бандла нужно выбрать пункт "Generate support bundle" из контекстного меню хоста:

Помимо этого, его можно сгенерировать и в консоли ESXi. Для этого используется команда vm-support без параметров (подробнее об этом написано в KB 1010705). Чтобы получить Support Bundle нужно в консоли ESXi выполнить следующую команду:

# vm-support

Надо отметить, что у утилиты есть множество разных параметров:

Аналогично получению бандла для vCenter, через PowerCLI можно получить и бандл для хоста ESXi. Соединяемся с хостом, забираем бандл и складываем его в нужную папку:

Get-VMHost HostNameOrIP | Get-Log -Bundle -DestinationPath c:\Storage\Location\

Для тех, кто хочет узнать, что же находится внутри Support Bundle, мы рекомендуем статью "What's Inside an ESXi vm-support Bundle?".

Прошлой весной компания VMware выпустила релиз своего основного документа по обеспечению безопасности виртуальной среды Security Configuration Guide для vSphere 6.5. Напомним, что ранее подобный документ назывался Hardening Guide и был основным руководством для сотрудников отделов ИТ-безопасности по настройке гипервизора ESXi и виртуальных машин.

На днях VMware выпустила финальную версию документа vSphere 6.5 Update 1 Security Configuration Guide, в котором приведены основные конфигурации для обеспечения безопасности уже Update 1, то есть последнего на данный момент мажорного обновления платформы vSphere.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

• Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
• Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
• Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
• Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Надо отметить, что от релиза к релизу Security Configuration Guide становится все меньше, так как VMware продвигает идеологию, что платформа становится защищеннее из коробки (Secure By Default). На данный момент осталось всего 68 конфигураций для всей виртуальной среды.

При работе с гайдлайнами инженеры VMware каждый раз проверяют актуальность тех или иных настроек, изменяют их или удаляют. Кстати, удаляют они их вот по каким причинам:

• Код vSphere постоянно ревьювится, и некоторые введенные улучшения делают так, что какой-то из описанных гайдлайнов больше не является вектором угрозы. Пример - настройка "disable-intervm-vmci". Сам по себе этот механизм был удален из состава vSphere, а значит ушла и рекомендация по этой настройке.
• Также некоторые гайдлайны ранее были невыполнимыми (например, verify-kernel-modules) - многие пытались писать свои скрипты для верификации каждого модуля VMkernel при загрузке, пока VMware не сделала цифровые подписи VIB-модулей, за счет которых распространяются компоненты vSphere, и механизм Secure Boot.
• Некоторые гайдлайны были написаны для фичей, которые некорректно понимались с точки зрения безопасности. Например, считалось, что настройка VM.disable-hgfs актуальна для vSphere, но оказалось, что она применяется только для Workstation и Fusion и никакой угрозы не несет.

Также поменялись некоторые дефолтные значения для настроек безопасности, которые ранее по умолчанию вообще не имели значений. Например, настройки ниже имеют указанные явно значения TRUE, чтобы не вводить пользователя в заблуждение - типа, а как это работает по умолчанию?

Давайте посмотрим на статистику того, что изменилось в гайдлайнах, и как они теперь выглядят:

Скачать VMware vSphere 6.5 Update 1 Security Configuration Guide можно по этой ссылке.

Если вы зайдете на страницу поддерживаемых устройств ввода-вывода (I/O Devices) в списке VMware Hardware Compatibility List (HCL), то в правой колонке увидите там следующие параметры:

• VID (Vendor ID)
• DID (Device ID)
• SVID (Sub-Vendor ID)
• SSID (Sub-Device ID)

Все эти категории там не просто так - это очень удобный способ проверить совместимость вашего устройства ввода-вывода (сетевая карта, HBA-адаптер, SCSI-контроллер, USB-контроллер, и т.п.) с платформой VMware vSphere / ESXi и другими продуктами.

Например, если вы хотите узнать эти параметры для сетевой карты, то можно вывести список PCI-устройств командой vmkchdev, отфильтровав их с помощью grep по свойству vmnic (сетевой адаптер):

vmkchdev -l | grep vmnic

Далее вы увидите подобный вывод:

[dpasek@esx01:~] vmkchdev -l | grep vmnic

0000:02:00.0 14e4:1657 103c:22be vmkernel vmnic0

0000:02:00.1 14e4:1657 103c:22be vmkernel vmnic1

0000:02:00.2 14e4:1657 103c:22be vmkernel vmnic2

0000:02:00.3 14e4:1657 103c:22be vmkernel vmnic3

0000:05:00.0 14e4:168e 103c:339d vmkernel vmnic4

0000:05:00.1 14e4:168e 103c:339d vmkernel vmnic5

0000:88:00.0 14e4:168e 103c:339d vmkernel vmnic6

0000:88:00.1 14e4:168e 103c:339d vmkernel vmnic7

Здесь вот этот участок - 14e4:1657 103c:22be - для адаптера vmnic0 позволяет разложить его на 4 приведенных выше параметра:

• VID = 14e4
• DID = 1657
• SVID = 103c
• SSID = 22be

После этого вы просто вбиваете эти параметры в VMware HCL для I/O-устройств в правую колонку и смотрите, совместима ли данная сетевая карта с данной версией VMware ESXi.

Если вы отфильтруете вывод по строчке vmhba, то можете получить локальные SCSI-контроллеры или HBA-адаптеры, которые также можно проверить аналогичным образом.

Год назад мы писали об обновлении утилиты RVTools 3.9.2, в котором появилась поддержка VMware vSphere 6.5. В конце февраля вышло обновление этого средства - RVTools 3.10, где появилась масса новых возможностей. Напомним, что RVTools - это утилита, которая помогает администраторам при выполнении рутинных операций с виртуальной инфраструктурой в различных аспектах.

Давайте посмотрим, что нового в RVTools 3.10:

• RVTools теперь сделана на Visual Studio 2017.
• Фреймворк .Net обновлен до версии 4.6.1
• Новые колонки на вкладке vInfo: настройка latency-sensitivity для ВМ, параметры Change Block Tracking (CBT) и значение disk.EnableUUID.
• Новые колонки на вкладке vDisk: SCSI label, unit number и sharedBus.
• Новые колонки на вкладке vHost: назначенные лицензии, ATS heartbeat, значения ATS locking (0 = disabled, 1 = enabled), короткое имя для Host Power Policy, текущая политика CPU Power Management, поддержка CPU power hardware.
• При экспорте в xlsx добавляется версия RVTools и дата/время в выходной файл.
• Все колонки экспортированного xlsx имеют фильтр.
• Новые строчки в csv-файле теперь заменены на пробелы.
• Если утилита работает из командной строки и возникают проблемы с логином - больше не появляется окошко ввода кредов, вместо этого утилита завершается с кодом -1.
• Добавлен пример сценария PowerShell, который позволяет объединять экспортированные xlsx-файлы.
• Добавлен пример сценария PowerShell, который позволяет экспортировать несколько серверов vCenter в один xlsx.
• Вкладка vDatastore: для датасторов NFS колонка с адресом заполняется полным путем к папке вместе с хостом.
• Новые колонки вкладки vDatastore: имя Datastore Cluster, общая емкость кластера и свободные ресурсы хранилищ.
• Верхняя граница хэлсчека (health check) виртуальных машин увеличена до 9999.
• Вкладка vHealth: новая колонка "message type", которую можно использовать как фильтр в Excel.
• Вкладка vHealth: файлы hbrdisk.RDID теперь не определяются как зомби-файлы.
• Вкладка vHealth: при высокой заполненности хранилища показывается также свободная емкость в мегабайтах.
• Все вкладки: обновление и автообновление учитывают порядок пользовательской сортировки.
• Параметры командной строки export2xls обновились на export2xlsx (старые также работают).
• Пакет Log4net обновлен до версии 2.0.8, Waffle.AD - до версии 1.8.3, NPOI - до версии 2.3.0.
• Ошибка соединения для TLSv1.0 и TLSv1.1 отключена и только для TLSv1.2 включена за счет использования .Net Framework 4.6.1.
• Дефолтная директория теперь поменялась на C:\Program Files (x86)\RobWare\RVTools и не содержит номера версии.

Скачать RVTools 3.9.2 для VMware vSphere 6.5 можно по этой ссылке. Документация доступна тут.

В блоге VCDX133 появился интересный и полезный список основных ключевых моментов в различных аспектах проектирования инфраструктуры VMware vSphere. Он будет полезен архитекторам и системным инженерам, которые планируют внедрение большой инфраструктуры виртуализации и хотят учесть все основные функции платформы, а также избежать проблем в будущем при масштабировании архитектуры.

Кстати, этот список можно использовать как высокоуровневый опросник перед началом фазы проектирования, чтобы выяснить ключевые потребности заказчика и далее превратить это все в техническое задание на базе полученных требований.

Приведем данный список ниже:

Бизнес-задачи и проблемы

• Какие основные задачи стоят при внедрении?
• Какие проблемы заказчика предполагается решить?

Варианты использования платформы

• Какие варианты использования инфраструктуры VMware предполагает сам заказчик?

Требования/Ограничения/Допущения

• Каковы основные требования, какие ограничения учесть, о какие допущениях и неочевидных моментах нужно проинформировать заказчика.

Риски

• Какие риски внедрения решения (например, простои при миграции) и каковы способы их минимизации? Есть ли специфические задачи, тесты и процедуры, которым нужно следовать в таком случае.

A. Управление виртуальным датацентром

Решения в области логической архитектуры

• Общий объем объединяемых в пул ресурсов (вычислительные мощности, сети и хранилища).
• Какие сервисы будет предоставлять инфраструктура.
• Необходимый уровень доступности для систем управления платформой виртуализации.
• Интеграция со сторонними решениями: IT Service Management, Infrastructure Management systems, Enterprise services (DNS, LDAP, NTP, PKI, Syslog, SNMP Traps), сбор данных агентами систем различных вендоров.
• Необходимы ли расширенные операции, не предоставляемые из коробки?
• Механизмы защиты рабочих нагрузок гипервизора (vMotion, HA и другое).
• Механизмы балансировки нагрузки на гипервизор (DRS).

Решения в области физической инфраструктуры

• Гипервизор: версии ESXi.
• Нужен ли отдельный кластер управления?
• Серверы vCenter в режиме Standalone или Linked-Mode?
• Версия vCenter Server и тип установки (под Windows или в виде виртуального модуля).
• База данных vCenter Server - встроенная или внешняя?
• Механизмы защиты vCenter Server.
• Дизайн инфраструктуры Platform Services Controller (PSC). Будет ли один домен SSO?
• Нужна ли инфраструктура шифрования (PKI)? Какие требования к SSL?
• Какие компоненты vSphere будут использоваться?
• Нужна ли функциональность Host profiles?
• Вопросы управления обновлениями ESXi, версиями VM Hardware и версиями VMware Tools.
• Интеграция с антивирусами и решениями vShield/NSX.
• Нужен ли пакет vRealize Suite для расширенных операций и управления частным облаком?
• Нужен ли продукт vRealize Orchestrator для управления рабочими процессами операций? Нужен ли PowerCLI для сценариев автоматизации?
• Нужно ли интегрировать виртуальную инфраструктуру с другими средствами управления (Enterprise Management)?
• Automated vendor support mechanisms? How will VMware Skyline be used?
• Нужно ли организовывать интеграцию с системами Service Desk или Change Management?
• Каковы требования к механизмам vSphere HA и vSphere DRS?
• Если будет использоваться HCI (Hyper-Converged Infrastructure), то какие решения будут использоваться для управления, и как это будет совместимо с vSphere?
• Вопросы интеграции со службами DNS и NTP.
• Ролевая модель доступа (Role Based Access Control) и интеграция с LDAP.
• Какой интерфейс vCenter Server будет использоваться для администрирования и ежедневных операций (vSphere Client / Web Client).
• Модель лицензирования vCenter.
• Вопросы лицензирования стороннего ПО в виртуальных машинах (на хост, на виртуальный процессор vCPU и т.п.).

B. Вычислительные ресурсы

Решения в области логической архитектуры

• Традиционная архитектура, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с хранилищами).
• Минимальное число хостов в кластере.
• Тип сайзинга хостов в кластерах: вертикальный (Scale Up) или горизонтальный (Scale Out)?
• Гомогенные или гетерогенные узлы?
• Число физических процессоров на хост.
• Резервирование уровня хостов в рамках доменов отказа (Failure Domains).
• Необходимая емкость по CPU.
• Необходимая емкость по RAM.

Решения в области физической инфраструктуры

• Вендор серверов.
• Тип процессоров серверов.
• Фичи CPU: VT-x, Hyper-threading, Turbo Boost, включена ли NUMA?
• Конфигурация серверного оборудования.
• Число сокетов CPU на узел.
• Модель процессора, частота и число ядер.
• Нужен ли GPU?
• Физическое размещение хостов.
• Тип размещения: Single Rack или Multi-Rack с шарингом ресурсов?
• Требования к доступности кластеров.
• Нужно ли обеспечить согласованность доступности хостов с доступностью хранилищ.
• Будущее расширение вычислительных ресурсов.

C. Хранилища

Решения в области логической архитектуры

• Традиционные хранилища, технология Server-Side Flash Cache Acceleration, конвергентная или гиперконвергентная инфраструктура (связано с вычислительными ресурсами).
• Блочные или IP-хранилища?
• Средства автоматизированного управления хранилищами.
• Допустимо ли использование RDM?
• Метод загрузки хоста ESXi - с локального диска (DAS), LUN или PXE.
• Толстые или тонкие диски для виртуальных машин?
• Необходимые ресурсы хранения.
• Репликация хранилищ.

Решения в области физической инфраструктуры

• Вендор систем хранения.
• Расчет используемой емкости хранилищ с учетом пулов хранения, затрат на репликацию и бэкап. Каковы численные требования к емкости и производительности хранилищ?
• Число дисков SSD и HDD в каждой из систем хранения.
• Использование дедупликации, сжатия данных, технологии Erasure Coding и Storage APIs. Нужно ли держать процент хранилищ всегда свободным?
• Какой активный Working Set (рабочий объем данных) необходим?
• Трешхолды для автоматизированного ярусного хранения данных (разнесения по ярусам).
• Использование шифрованных дисков и сервер KMS.
• Сеть хранения данных и ее организация.
• Механизм загрузки хстов ESXi.
• Технологии VM DirectPath I/O и SR-IOV.
• Число датасторов на кластер.
• Будут ли использоваться DRS и SIOC?
• Будут ли применяться VMDK shares на уровне виртуальных дисков?
• Будет ли использоваться технология VAAI?
• Использование VASA и профилей хранилищ (storage profiles).
• Будут ли использоваться синхронные или асинхронные DR-решения?
• Планирование расширения хранилищ.

D. Сетевая инфраструктура

Решения в области логической архитектуры

• Технология Legacy 3-Tier Switch, Collapsed Core или Clos-type Leaf/Spine?
• Кластеризованные физические или отдельные коммутаторы EoR/ToR?
• Растянутые логические VLAN или на уровне стойки?
• Трафик будет функционально разделяться на уровне виртуальных коммутаторов или отдельных VLAN?
• Будут ли использоваться Jumbo Frames?
• Требования Quality of Service (QoS).
• Балансировка нагрузки в сети (Load Balancing).
• Версия протокола IP.
• Соединения Inter-Data Center, включая RTT.
• Требуемая емкость и пропускная способность сети.
• Какие ВМ разрешены - с одним или несколькими vNIC?

Решения в области физической инфраструктуры

• Выбор вендора решения Clos-type Leaf/Spine для больших инсталляций. Либо использование архитектуры Core/Agg/Dist/Access switch.
• Фабрика коммутаторов типа Blocking или non-blocking?
• Если blocking, какое уровень переподписки (over-subscription ratio)?
• Каков путь трафика типа North/South и East/West?
• Где находятся шлюзы Layer 3 для каждой из подсетей?
• Требования к динамической маршрутизации (Dynamic Routing)?
• Нужен ли мультикаст?
• Будут ли использоваться End-to-End Jumbo Frames?
• Интерфейсы хостов ESXi: 1GbE и/или 10GbE? Сколько их будет на каждом хосте?
• Интерфейсы на хостах - LAG или unbonded?
• Слой управления для KVM и iLO/iDRAC/IPMI.
• Производительность физической сети LAN.
• Матрица связности хостов по сети передачи данных.
• Нужно ли Metro Ethernet между датацентрами?
• Использование QoS, Network Control и vSphere Network I/O Control.
• Будет ли использоваться Edge QoS или End-to-End QoS?
• Система vSphere NIOC и User-Defined Network Resource Pools.
• vMotion через несколько физических адаптеров одновременно.
• Использование VLAN Pruning.
• Использование Spanning Tree.
• Технологии VM DirectPath I/O и SR-IOV.
• Будет ли включена TCP Offload?
• Будут ли использованы стандартные vSwitch (VSS) или распределенные Distributed Switch (VDS).
• Разные vSwitches на кластер или общие?
• Использование технологий Teaming и Load Balancing.
• Порты VMkernel.
• Группы портов для виртуальных машин.
• Нужно ли решение VMware NSX-v?
• Планирование расширения сети по числу портов.

E. Защита данных

Решения в области логической архитектуры

• Частота резервного копирования большинства ВМ.
• Настройки бэкапов уровня Application Consistent и Database Consistent.
• Требования ко времени восстановления.
• Физическое разделение актуальных данных и бэкапов.
• Необходимые решения для бэкапа.
• Требования к производительности процесса резервного копирования.

Решения в области физической инфраструктуры

• Будет ли использоваться решение на базе VADP (например, Veeam Backup and Replication).
• Критерии для выбора решения по бэкапу.
• Требования к механизму резервного копирования и восстановления.
• Снапшоты уровня ВМ.
• Нужна ли асинхронная репликация снапшотов ВМ в удаленный кластер или публичное облако.
• Частота резервного копирования.
• Политика хранения резервных копий.
• Выделяемые емкости под хранение бэкапов и производительность процесса.
• Быстрое восстановление средств управления кластером на хосте ESXi.
• Рост объема хранения бэкапов и ресурсы для его обслуживания.

F. Виртуальные машины

Решения в области логической архитектуры

• Стандартные размеры ВМ (по уровням настроек - виртуальный диск, память, сеть, опции).
• Какие механизмы для CPU и RAM будут использоваться (например, Memory Ballooning)?
• Размещение файлов ВМ.
• Стандартизация гостевых ОС.
• Выбор между 64 и 32-битными системами.
• Использование шаблонов.

Решения в области физической инфраструктуры

• Стандартные размеры виртуальных машин и ресурсы для них.
• Планирование виртуальных сервисов vApps и пулов ресурсов.
• Размещение виртуальных машин на общих хранилищах.
• Стандартные настройки виртуальных дисков машин.
• Будут ли использоваться тонкие диски?
• Допустимы ли аппаратные снапшоты на уровне хранилищ или снапшоты vSphere?
• Будет ли включен Changed Block Tracking (CBT)?
• 32/64-битные версии гостевых систем.
• Адаптеры vSCSI.
• Виртуальные сетевые адаптеры vNIC.
• Версия виртуального аппаратного обеспечения (VM Hardware).
• Будут ли установлены VMware Tools и какой версии?
• Прочие стандартные настройки ВМ.
• Какие шаблоны ВМ будут использоваться?
• Настройки репозиториев шаблонов ВМ.
• Предложения по работе виртуальных машин с приложениями уровней Mission-Critical/Business-Critical.

G. Безопасность

Решения в области логической архитектуры

• Зоны и трасты.
• Нужна ли Defence-in-Depth?
• Будет ли решение мультивендоным?
• Физическое разделение сегментов сети.
• Стандарты, которые нужно соблюсти.
• Требования к защите инфраструктуры виртуализации и виртуальным машинам.
• Необходимый объем защиты сетевой инфраструктуры.

Решения в области физической инфраструктуры

• Физическое и виртуальное зонирование сетей.
• Сетевые экраны уровня приложений и уровня сетей.
• Системы IDS и IPS.
• SSL и сети IP-Sec VPN.
• Комплексная защита от сетевых угроз (Unified Threat Management)?
• Выбор вендора в сфере решений ИТ-безопасности.
• Нужно ли решение VMware NSX-v/T?
• Защита конечных устройств и выбор антивирусов.
• Производительность решений для сеNetwork Security Performance?
• Системы Security Information & Event Management (SIEM).
• Будет ли использоваться инфраструктура шифрования (Public Key Infrastructure, PKI)?
• Будет ли использоваться технология vSphere Cluster security? STIG?
• Технологии защиты хоста ESXi.
• Технологии защиты сетевого взаимодействия.
• Технологии защиты хранилищ.
• Технологии защиты резервных копий.
• Технологии защиты виртуальных машин.
• Будет ли будущее расширение инфраструктуры и какие дополнительные средства могут понадобиться?

H. Непрерывность бизнеса / восстановление после аварий (BC/DR)

Решения в области логической архитектуры

• Какие механизмы защиты будут использоваться?
• Ручные или автоматические сценарии восстановления? Регламент ручных действий.
• Политики RPO, RTO, WRT и MTD для приложений различной степени критичности (Mission-Critical, Business-Critical и Non-Critical).
• Как использовать глобальные балансировщики (Global Site Load Balancers).
• Параметры DNS TTL для клиентов.

Решения в области физической инфраструктуры

• Нужны ли решения по катастрофоустойчивости?
• Нужен ли продукт VMware SRM или Veeam Availability Suite?
• Нужно ли решение GSLB?
• Использование внутренних и внешних DNS-серверов.
• Уровень катастрофоустойчивости - нужна ли синхронная репликация на географически удаленные кластеры?
• Репликация на несколько площадок, репликация баз данных и Message Queue clustering/replication.

В конце января компания VMware выпустила существенное обновление своего клиента на базе технологии HTML5 для управления виртуальной инфраструктурой VMware vSphere. На днях вышел еще один апдейт - VMware vSphere Client 3.34, в котором также появилось немало всего нового.

Давайте посмотрим на последние фичи vSphere Client версии 3.34:

• Визуализация топологии виртуальных коммутаторов (см. на скриншоте выше).
• Возможность пакетного создания виртуальных адаптеров VMkernel на распределенной группе портов vDS.
• Действие по привязке лицензи (Assign License) на вкладке License Assets.
• Сообщение об устаревающих лицензиях vCenter.
• Изменение настроек виртуальных сервисов vApp.
• Включение и изменение настроек vApp для его виртуальных машин.
• Перемещение сетей (networks) и распределенных коммутаторов в новые папки типа network в инвентори.
• Пакетная привязка физических сетевых адаптеров к аплинкам в мастере "Add and Manage Hosts" на распределенном коммутаторе.
• Пакетная привязка портов VMkernel к порт-группам "Add and Manage Hosts" на распределенном коммутаторе.
• Отображение дополнительной информации, такой как состояние питания и информации Quiesce/memory для снапшотов виртуальных машин.

Загрузить VMware vSphere Client 3.34 можно по этой ссылке.

Блогер David Pasek опубликовал интересный пост, касающийся ограничения виртуальных машин и их виртуальных дисков по числу операций ввода-вывода. Смысл его в том, что автор, являющийся ярым сторонником обеспечения QoS на уровне виртуальных дисков, настоятельно рекомендует применять ограничения IOPS limit к виртуальным дискам машин, которые потенциально могут выесть много полосы ввода-вывода.

Сейчас ограничивать виртуальные машины по IOPS можно как на уровне виртуальных дисков на томах VMFS/RDM/NFS, так и на уровне томов VVols. Многие системы хранения оперирует понятием логического тома LUN, на котором размещается один том VMFS. Как правило, LUN - это логический том, что значит, что несколько LUN могут размещаться на одной физической группе дисков:

Таким образом, виртуальные машины, потребляющие много IOPS от хранилища (он называет их "noisy neighbor") могут существенно замедлить работу других производственных систем.

Поэтому для таких машин требуется создавать ограничения IOPS limit, которые можно задать для виртуального диска в опциях машин, либо привязать к VMDK диску политику с ограничениями по IOPS.

Например, в vSphere Web Client создаем новую VM Storage Policy с ограничениями IOPS limit for object:

А далее привязываем эту политику к диску VMDK в настройках ВМ:

Тут же в настройках можно задать значение в поле Limit-IOPs, если не выбирать политику.

Именно ограничение по IOPS делает поведение инфраструктуры хранения для виртуальных машин предсказуемым и управляемым. Ограничения по вводу-выводу позволят обеспечить минимально приемлемый уровень обслуживания для виртуальных машин, которым требуются ресурсы хранилища, с гарантией того, что остальные системы не съедят все доступные IOPS.

Ну и в заключение несколько аспектов данного рода ограничений:

• Команды ввода-вывода (IO) нормализуются к блоку 32 КБ, то есть команда в 128 КБ будет преобразована в 4 IO.
• IOPS limit не влияет на операции SVmotion (миграция хранилища), XVmotion (миграция машин без общего хранилища) и клонирование ВМ.
• IOPS limit применяется только ко вводу-выводу гостевой ОС и не затрагивает операции с самим диском VMDK и его swap-файлами.
• Если у машины несколько лимитов по IOPS для дисков на одном датасторе, то эти лимиты складывают и применяются для всей ВМ на этом датасторе в целом. Если же диски находятся на разных хранилищах, то тут уже действуют правила для каждого из групп дисков.
  • Например, если у каждой из 4 дисков машины на одном датасторе стоит лимит 100 IOPS, то для всей машины будет совокупный лимит 400. То есть, если три VMDK едят по 10 IOPS каждый, то четвертый диск сможет съесть максимум 370 IOPS.
  • А вот для NFS-хранилищ все работает несколько иначе - если у каждого из 4 дисков на одном датасторе стоит лимит 100 IOPS, то сколько бы ни потребляли остальные диски, для каждого из дисков будет применен максимальный лимит 100.
• Полная информация об ограничении ввода-вывода для виртуальных машин приведена в KB 1038241.

Также рекомендуем почитать нашу статью "VMware Storage I/O Control (SIOC) - как это работает на практическом примере".

На днях компания VMware начала тестировать новую версию своего фреймворка для управления виртуальной инфраструктурой и выпустила VMware PowerCLI Beta.

Как вы помните, в конце 2016 года VMware на сайте проекта VMware Labs опубликовала утилиту PowerCLI Core, которая позволяет пользователям применять те же самые командлеты PowerCLI на системах Linux, Mac и Docker, которые ранее были доступны только для Windows.

В новой бета-версии PowerCLI эта утилита будет не нужна, так как теперь PowerCLI будет работать на всех платформах в рамках единого пакета, а из состава продукта для платформ Linux и MacOS уйдет слово "Core". На данный момент эта бета была протестирована на следующих платформах:

• Windows
• CentOS 7 (тестирование еще в процессе)
• Ubuntu 16.04
• MacOS 10.12

В этой бета-версии на все платформы были портированы следующие модули:

• VMware.VimAutomation.Sdk
• VMware.VimAutomation.Common
• VMware.VimAutomation.Core
• VMware.VimAutomation.Vds
• VMware.VimAutomation.Cis.Core
• VMware.VimAutomation.Nsxt
• VMware.VimAutomation.Vmc
• VMware.VimAutomation.Storage
• VMware.VimAutomation.StorageUtil

Для MacOS и Linux вы увидите только перечисленные модули, остальные пока не доступны. Устанавливать их нужно так:

$installOrder = @(  
    "VMware.VimAutomation.Sdk",  
    "VMware.VimAutomation.Common",  
    "VMware.VimAutomation.Cis.Core",  
    "VMware.VimAutomation.Core",  
    "VMware.VimAutomation.License",  
    "VMware.VimAutomation.Vds",  
    "VMware.VimAutomation.Storage",  
    "VMware.VimAutomation.Cloud",  
    "VMware.VimAutomation.vROps",  
    "VMware.VimAutomation.PCloud",  
    "VMware.VimAutomation.Nsxt",  
    "VMware.VimAutomation.vmc"  
)  
$installOrder | %{install-module $_ -AllowPrerelease -repository PSGallery}  

Более подробную информацию о VMware PowerCLI Beta можно получить вот тут. Ну и вам надо знать, что бета работает только на PowerShell Core v6.0.1 (на версии 6.0.0 работать не будет).

У некоторых администраторов VMware vSphere время от времени возникает проблема с горячей миграцией vMotion виртуальных машин, например, когда они выводят хост в режим обслуживания (Maintenance Mode). vMotion зависает на 21%, и на vCenter Server появляется ошибка наподобие такой:

Failed waiting for data. Error 195887137. Timeout. vMotion migration failed to send buffer to remote host. vMotion migration failed writing stream completion.

Еще одно сообщение об ошибке в этом случае выглядит вот так:

The vMotion failed bacause the destination host did not receive data from the source host on the vMotion network. Failed to initialize migration at source. Error 195887109.

На панели задач мы видим вот такую картину:

Если посмотреть на лог-файлы, то там не обнаруживается никаких проблем. Но подобного рода ошибки, если внимательно поискать их в VMware KB, указывают на разные сконфигурированные значения MTU пакета в виртуальной инфраструктуре и на портах физических коммутаторов. Например, на vSphere Distributed Switch для порта VMkernel, через который идет миграция vMotion, размер MTU у вас выставлен в 9000 (для поддержки Jumbo Frames), а вот на на порту свича - 1500.

Поэтому всегда проверяйте, чтобы размер MTU был одинаковым на всех компонентах физической и виртуальной инфраструктуры - vDS и портах коммутатора. Более подробно о настройке Jumbo frames написано в KB 1038827.

Многие из вас хотя бы раз задумывались о том, сколько виртуальных машин должно в среднем приходиться на один хост, а кроме того, в частности, сколько виртуальных процессоров (vCPU) могут исполняться на физических процессорах (pCPU) хост-сервера VMware ESXi.

На этот счет системные архитекторы часто дают следующие рекомендации (в соответствии с критичностью нагрузок в кластере):

• Tier 1 cluster (mission-critical приложения) - соотношение 1:1 vCPU / pCPU.
• Tier 2 cluster (business-critical приложения) - соотношение 3:1 vCPU / pCPU.
• Tier 3 cluster (инфраструктурные и обеспечивающие приложения) - соотношение 5:1 vCPU / pCPU.
• Tier 4 cluster (виртуальные десктопы) - соотношение 10:1 vCPU / pCPU.

Это общие рекомендации и, конечно же, не железные правила - отталкиваться нужно от имеющегося оборудования и характера нагрузок в виртуальных машинах.

Для того, чтобы регулировать это соотношение со стороны кластера балансировки нагрузки VMware DRS есть 2 специальные расширенные настройки:

• MaxVcpusPerClusterPct - регулирует соотношение vCPU/pCPU на уровне всего кластера, не привязываясь к конкретным хостам ESXi (то есть сумма vCPU всех машин делится на сумму pCPU всех хостов).
• MaxVCPUsPerCore - регулирует соотношение vCPU/pCPU на уровне каждого из хостов ESXi, то есть ни на одном из них это соотношение не может быть превышено.

Указываются эти расширенные настройки в разделе Configuration Parameters в vSphere Web Client при настройке DRS-кластера:

Также их можно задать и в HTML5-клиенте vSphere Client:

Но самое интересное - это то, что в vSpher Web Client эта настройка есть в GUI и регулирует параметр MaxVcpusPerClusterPct на уровне всего кластера (можно задать процент от 0 до 500, но разумно задавать значения от 100 до 500, если задать 500 - число vCPU может быть больше pCPU в пять раз):

А вот в vSphere Client - эта настройка уже MaxVCPUsPerCore, то есть задание CPU Overcommitment на уровне каждого из хостов ESXi, о чем и написано в интерфейсе:

Кстати, выставить эту настройку можно в диапазоне от 0 до 32.

Пару недель назад мы писали о новых возможностях последних версий HTML5-клиента для управления виртуальной инфраструктурой VMware vSphere Client 3.31-3.32, а на днях компания VMware выпустила очередное обновление vSphere Client 3.33, где появилось немало новых возможностей (а не как обычно).

Давайте посмотрим, что нового в этом обновлении:

• Поддержка устройств PCI и Shared PCI для виртуальных машин.
• Мастер создания нового виртуального сервиса (vApp).
• Мастер клонирования vApp.
• Перемещение vApp в между хостами и кластерами.
• Возможность копирования customization specification виртуальной машины на другой сервер vCenter с возможностью изменения имени и описания спецификации.
• Действие Synchronize Licenses (ранее оно называлось Import License Keys Data).
• Детали об имеющихся ассетах и лицензиях.
• Возможность изменять VM Advanced configurations в настройках виртуальной машины (пункт Edit Settings).
• Изменение ярлыков для операций с состоянием ВМ (Power Operations) в разделе VMware tools в опциях Edit Settings для виртуальной машины.
• Изменение максимального количества сессий VMRC для виртуальной машины в настройках (Edit Settings).

В целом, не так уж и мало для очередного обновления. Скачать VMware vSphere Client 3.33 можно по этой ссылке.

Как вы знаете, механизм динамической балансировки нагрузки VMware DRS используется для того, чтобы в условиях неравномерной нагрузки на хост-серверы VMware ESXi выравнивать ее за счет дачи рекомендаций по миграции виртуальных машин средствами vMotion на другие хосты, либо автоматического выполнения этих рекомендаций.

Давайте посмотрим как Distributed Resource Scheduler работает с оперативной памятью. В кластере DRS есть такая настройка "Memory Metric for Load Balancing", которая отключена по умолчанию, и если почитать к ней описание, то становится понятно, что DRS по умолчанию руководствуется параметром Active memory для балансировки.

У машины есть три основных параметра памяти, учитываемых DRS - это Active, Consumed и Configured Memory:

• Configured - это память, указанная в настройках виртуальной машины, то есть ее максимальное значение.
• Consumed - это память, которая использовалась виртуальной машиной с момента ее загрузки (а вы знаете, что при загрузке операционная система обращается к большему объему памяти, чем затем ее использует).
• Active - это активные страницы памяти (RAM), которые сейчас используются гостевой ОС.

На картинке ниже показан пример - у машины 16 ГБ памяти, при этом при загрузке она наинициализировала страниц памяти на 12 ГБ, а активно использует только 5734 МБ.

Для того чтобы подчитывать используемую память, планировщик DRS подсчитывает working set из страниц Active Memory и прибавляет к нему 25% от разницы между Consumed и Active (это называется Idle Consumed Memory) на незапланированные резкие изменения нагрузки - и это число использует в своих вычислениях балансировки кластера:

В данном случае будет использоваться значение 5734+0,25*(12288-5734) = 7372,5 МБ (на картинке 7373 МБ). Кстати, это еще не все - к машине с памятью в 16 ГБ прибавляются накладные расходы (Overhead) в размере 90 МБ, поэтому DRS в своих вычислениях будет использовать значение 7373+90 = 7463 МБ.

Если же включить настройку DRS-кластера, упомянутую выше, то DRS в своих вычислениях будет использовать Consumed Memory и также прибавлять Memory Overhead:

В обновлении vSphere 6.5 update 1d клиент позволяет вам просматривать как метрику Active Memory, так и Consumed Memory.

Вот так выглядит картинка для сбалансированного кластера DRS (рекомендаций и ошибок нет):

Кстати, если вы посмотрите на Active Memory сбалансированного кластера, то там вполне может быть дисбаланс:

В этом нет ничего страшного, так как машины используют менее 20% active memory от памяти хоста, всем памяти хватает, и DRS решает, что балансировать машины в таком случае - это только тратить ресурсы CPU и сети на vMotion.

Переключимся теперь на Consumed memory:

Тут мы видим большой дисбаланс и разница между хостами более 20% от значений Consumed memory на них. Поэтому если мы включим настройку "Memory Metric for Load Balancing", то кластер DRS начнет работу по миграции виртуальных машин между хост-серверами. Итогом будет вот такая картина:

Вывод тут вот какой. Если у вас кластер работает без оверкомита (non-overcommitted) и есть большой запас по RAM на хостах, то, возможно, вам и следует поставить настройку "Memory Metric for Load Balancing", чтобы DRS балансировал хосты по consumed memory, а сами рекомендации по миграциям, например, можно применять в ручном режиме, чтобы контролировать ситуацию.

На днях мы писали о том, что компания VMware выпустила обновления VMware vCenter и ESXi, закрывающие потенциальную угрозу безопасности Spectre (она же Hypervisor-Assisted Guest Mitigation - CVE-2017-5715), которая недавно была обнаружена в процессорах Intel. Для закрытия уязвимости нужно обновить не только серверы ESXi и vCenter, но и микрокод (BIOS/Firmware) серверов (более подробная информация также приведена в KB 52085).

На днях наш читатель Сергей прислал ссылку на скрипт от Вильяма Лама, который позволяет провести проверку компонентов виртуальной инфраструктуры VMware vSphere на данную уязвимость. Этот PowerCLI-скрипт содержит две функции:

• Verify-ESXiMicrocodePatchAndVM
• Verify-ESXiMicrocodePatch

Первая функция позволяет проверить хосты ESXi и виртуальные машины и сгенерировать отчет в разрезе виртуальных машин. Если в колонке Affected стоит значение False - значит обновления и микрокода сервера, и хоста ESXi были применены, а сами ВМ и хост-сервер не подвержены уязвимости Spectre.

Вторая функция проверяет только, что на хостах ESXi накачено обновление как микрокода, так и самого гипервизора ESXi, который видит обновленные CPU features.

Функция Verify-ESXiMicrocodePatchAndVM может быть запущена тремя способами:

• Без параметров - проверяется все окружение VMware vSphere и все виртуальные машины в нем.
• С параметром - ClusterName - проверяется конкретный кластер и всего его хосты и ВМ.
• С параметром - VMName - проверяется только конкретная ВМ и ее хост, соответственно.

У функции Verify-ESXiMicrocodePatch также есть три способа вызова:

• Без параметров - проверяются все хост-сервера в инфраструктуре vCenter.
• С параметром - ClusterName - проверяется конкретный кластер и всего его хосты.
• С параметром - VMHostName - проверяется конкретный хост-сервер ESXi.

Скачать этот PowerCLI-сценарий можно по этой ссылке: VerifyESXiMicrocodePatch.ps1.

Кстати говоря, этот скрипт был добавлен в полезный скрипт vCheck, который перед Новым годом обновился до версии 6.25, скачать его можно вот тут - https://github.com/alanrenouf/vCheck-vSphere.